写真画像の品質を改善する方法および装置

专利摘要:
写真画像の品質を改善する方法および装置を提供する。運動データを受信し、バイオメカニカルデータおよび受信した運動データに基づいて、加速度ベクトルを決定する方法および装置。この方法は、さらに、加速度ベクトルに基づいて改善された画像を生成することを含む。
公开号:JP2011509058A
申请号:JP2010542312
申请日:2009-01-06
公开日:2011-03-17
发明作者:ヴェンカット イースワル；フィリップ カーン；アーサー キンソルヴィング
申请人:ディーピー テクノロジーズ インコーポレイテッド；
IPC主号:H04N5-232

专利说明:

[0001] 本発明は、画像の安定化に関し、より詳細には、運動データを使用して、写真画像の品質を改善する技術に関する。]
背景技術

[0002] 人間の手の動作に起因する、ぼやけた画像の問題が、写真撮影の分野において、よく知られている。人間の手の動作は、振動、ジッタ（jitter）、偶発的な動きなどを含んでいる。カメラを固定し、動きを排除するのに三脚が使用されるが、それは、かさばり、アマチュア写真撮影には滅多に使用されない。代わりに、通常、電子的手段、電子機械的な手段が、高級デジタルカメラにおいて使用される。画像安定化に対する２つのアプローチが普及している。]
発明が解決しようとする課題

[0003] フィードバック安定化システムは、ジャイロスコープのようなセンサを使用して回転運動を測定し、アクチュエータ（actuators）へ補償信号を供給してセンサ及び／又はレンズの位置を調整して、動きを補償する。しかし、アクチュエータは、高価であり、多くの電力を消費する。]
[0004] 後処理システムは、取り込んだ画像を処理して、ぼやけや動きを補償する。動きの度合いは、画像を分析することにより、推測される。しかし、この分析は、極度にコンピュータ集約型であり、多くの時間を消費する。]
課題を解決するための手段

[0005] 運動データを受信し、バイオメカニカル（生体力学的）データと受信した運動データに基づいて加速度ベクトルを確認する方法および装置である。この方法は、さらに、加速度ベクトルに基づいて改善された画像を生成することを含む。]
[0006] 本発明は、添付された図面内の実施例に従って説明されるが、これに限定されるものではなく、その図面において類似の参照番号は類似の要素を示す。]
図面の簡単な説明

[0007] 本発明で使用されるシステムのネットワーク図である。
画像改善メカニズムの一実施形態を示すブロック図である。
ＡＲモデルのインパルス応答を示すグラフである。
ＡＲモデルの周波数応答を示すグラフである。
Ａ〜Ｃは、運動曲線を示すグラフである。
運動データに基づく改善された画像取り込みの一実施形態を示す図である。
スペクトル推定に基づく予測安定化の一実施形態を示す図である。
スペクトル推定に基づく予測安定化の別の実施形態を示す図である。
直交信号処理に基づく予測安定化の一実施形態を示す図である。
画像の事前取り込みによる改善された画像取り込みの一実施形態を示す図である。
Ａ〜Ｄは、種々の方法によって修正された画像を示す図である。
グローバル運動ベクトルの生成の一実施形態を示す図である。
ビデオにおけるフレームの一実施形態を示す図である。
ビデオにおけるフレームの一実施形態を示す図である。
ビデオにおける画像品質の改善の一実施形態を示す図である。]
実施例

[0008] 記載された方法および装置は、加速度計または他の運動検知メカニズムを使用する運動分析を用いる。運動データは、人間の腕の動きのバイオメカニクス（生体力学）の知識と組み合わされて、取り込まれた画像の品質を改善する。運動分析は、画像を取り込むのに最も良い瞬間を予想する予測モードにおいて、および／または、一度取り込まれた画像を改善する後処理モードにおいて使用され得る。]
[0009] このアプローチは、フィードバック安定化または画像データの後処理に基づく従来の画像安定化方法とは異なる。フィードバック安定化システムと異なり、本発明による方法は、レンズまたは画像センサを調整するためのアクチュエータを必要としない。このことは、アクチュエータを使用するフィードバックシステムを含むカメラと比較して、カメラに関する電力消費とともにコストを実質的に削減する。従来の後処理システムと異なり、画像データ上ではなく、検出された運動データ上で運動分析が実行される。画像シーケンス（sequences）を解析して光学画像を確認し、または光学画像を補間する代わりに、加速度計、または他の加速度または速度の検出メカニズムからの運動データを使用することにより、処理の複雑性が顕著に削減される。先行技術の後処理方法は、少なくとも画像内の画素数に比例する処理の複雑性を有しており、画像センサの解像度が向上するのにともなって特性が劣化する。これとは対照的に、運動データの使用は、処理の複雑性を増加させることなく、より大きい画像への拡大が可能になる。]
[0010] 上述したように、本システムは、１つまたはそれ以上の加速度または速度の検出器を使用する。一実施形態において、その検出器は加速度計である。他の実施形態において、その検出器はジャイロスコープである。容易化のため、以下の説明では「加速度計」を用いる。しかし、当業者は、任意の速度または加速度のセンサが使用されることを理解するであろう。さらに、「加速度計」という用語は、複数の加速度計を示す場合もある。このシステムは、加速度、速度、変位または角速度のデータから得られる正弦波（sinusoids）の解析を提供するように設計されている。]
[0011] 上記の説明では、実例として加速度ベクトルを使用したが、正弦波解析（sinusoidal analysis）は、変位および速度のベクトルに同じように適用することが可能である。さらに、調和運動は、線形（単振り子）項および角度（ねじり振り子）項の両方に存在する。そのようなものとして、説明された調和解析および予測は、同様に、角度変位、角速度および角加速度に適用可能である。したがって、最も基本的に、このシステムは、運動データを提供するセンサの種類に関係なく、そして提供される運動データの種類に関係なく、運動データの正弦波解析を使用する。]
[0012] 一実施形態において、このシステムは、関連運動の量の予測を使用する。これは、周波数／調和解析によって行われる。この予測は、運動ベクトルの計算を必要としない。このシステムは、周波数／調和解析を使用して、最大および最小の運動のポイントを予測する。この技術は、上述の角度間隔に応用され、変位および速度にも応用される。]
[0013] 一実施形態において、バイオメカニクスの知識が、問題空間を制約するのに使用される。ここで、バイオメカニクスは、体の運動範囲に関連する。誰かがカメラを構えているとき、例えば、肩と肘の結合は、他の結合もそうであるように、カメラの運動範囲を提供する。一実施形態において、画像データの分析無しで、画像に関する運動のぼやけを推定するのにバイオメカニカルな外挿が使用されるかもしれない。また、運動の期待された経路またはパターンを予測し、それによって、将来の画像のぼやけを予測するのに使用されるかもしれない。この予測は、最適な時間に画像を取り込んで、画像品質を最大化するカメラ・サブシステムを駆動するのに使用可能である。]
[0014] 一実施形態において、運動データは、また、センサの動きを推定し、画像または画像間（画像ラインごと）のぼやけ情報を取得するのに使用される。一実施形態において、この情報は、後処理アルゴリズムを導くのに使用され、それにより、これらのアルゴリズムに関する処理の複雑性が実質上削減する。このことは、さらに、ＣＰＵによって消費される電力を削減し、電池寿命が延びるという利点がある。]
[0015] 図１は、本発明で使用されるシステムの一実施形態のネットワーク図である。カメラ１１０は、運動センサ１２０を備えている。一実施形態において、運動センサ１２０は加速度計である。カメラによって取得された画像は、メモリ１３０に記憶される。一実施形態において、その画像に関する運動データも、メモリ１３０に記憶される。一実施形態において、運動データは、その画像に関するメタデータとして記憶される。一実施形態において、メモリ１３０は、リモートメモリ１３５を備えている。] 図１
[0016] 一実施形態において、後処理は、リモートシステム１５０上で行われる。データは、直接的な接続（例えば、ケーブル、または同様な統合システム）、ネットワーク接続１６０（インターネット、イーサネット（登録商標）、ブルートゥース、携帯電話ネットワークなど）、または他の接続手段を介してリモートシステム１５０へ伝送される。また、後処理は、カメラ１１０とリモートシステム１５０の間で分割されてもよい。一実施形態において、リモートシステム１５０は、他のカメラ、サーバコンピュータ、パーソナルコンピュータ、または、カメラ１１０からデータを取得可能な他のコンピューティングプラットフォームであってもよい。また、カメラ１１０は、カメラ付き携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、ウェブカメラを備えたラップトップ、ウェブカメラなどを含む写真撮影が可能なハンドヘルド機器であってもよい。]
[0017] 図２は、本発明による画像改善システムの一実施形態を示すブロック図である。一実施形態において、このシステムは、前処理システム２９０および後処理システム２９５を備えている。一実施形態において、ロジックエレメントは分離して記載されているが、それらを実現するのに用いられるハードウェアおよびソフトウェア・エレメントは、共用化することが可能であり、いずれのエレメントも、前処理および後処理の両方に用いることが可能である。] 図２
[0018] プレビューモード識別ロジック２１５は、カメラがプレビューモード（preview mode）にいることを識別する。一実施形態において、これは、カメラの絞り（aperture）が開いている時に起こる。一実施形態において、これは、自動カメラの焦点合わせとして、シャッターボタンが半分押された時に起こる。]
[0019] 正弦波信号解析ロジック２２０は、運動データを受信し、その運動データを解析する。付加センサ信号解析ロジック２２２は、付加センサからの信号を受信し、画像品質を制御するのに付加センサデータを使用する。例えば、付加センサは、遅延を制御し、および／または運動波を予測するのに使用される心臓センサ（cardiac sensor）であってもよい。シャッターロジック２２５は、シャッターを制御する。一実施形態において、シャッターロジック２２５は、シャッターの起動を検知する。他の実施形態において、シャッターロジック２２５は、ユーザの指の接近を検知する近接センサを含み、ユーザが実際にシャッター起動ボタンを押す前にシャッターを起動する（他の要因によって制御されるように）。一実施形態において、シャッターロジック２２５がシャッターの起動を検知した場合、遅延ロジック２３０がシャッター起動の後に小さい遅延を付加して、シャッター起動に起因する手の振動を補償する。]
[0020] 最小運動識別ロジック２４０は、バイオメカニクス情報２４５とともに、現在の加速度信号解析データと運動履歴データ２４７を使用して、局所的な運動最小値を予測する。一実施形態において、運動データに基づいて正弦波が計算される。これについては、後で詳細に説明する。最小運動が識別され、オーバーレイロジック（overlay logic）２５０が、最小運動ポイントをフレーム同期情報に関連付ける。画像取り込みロジック２５５は、オーバーレイロジック２５０によって起動される。画像保存ロジック２６０は、取り込まれた画像を保存する。一実施形態において、画像とともに取り込まれた運動データも、保存される。運動データは、全画像に関する加速度計の読み取り値であってもよい。運動データは、より詳細なものであってもよく、単一画素から全画像までの運動コンテキスト範囲（motion context ranging）を提供する。一実施形態において、加速度計の読み取り値は、画像内の各ラインに関連する。]
[0021] 後処理システム２９５は、保存された画像と関連する運動データを利用する。グローバル運動ベクトル計算機は、カメラの動きを計算する（画像自体の対象物の動きとは対照的に）。そして、グローバル運動ベクトル・データは、ぼやけの１画素単位の「点広がり関数（ＰＳＦ；Point Spread Function）」を計算するのに利用される。これは、運動ＰＳＦ計算機２７５によって行われる。そして、画像再生ロジック２８０は、ＰＳＦに基づいて画像を調整する。そして、画像保存ロジック２８５は、後処理されて改善された画像を保存する。]
[0022] このようにして、本システムは、前処理コンテキストおよび後処理コンテキスト（pre-processing and post-processing contexts）の運動データを利用することができる。]
[0023] 一実施形態において、人間の振動（すなわち、不随意運動）のバイオメカニクスの知識が、画像安定化システムを駆動するのに利用される。バイオメディカル分野における振動に関する多くの文献がある。人間の手の振動は２つの主要源に起因することが、今や広く受け入れられている。]
[0024] 第１の源は、機械的な反射の振動である。弾性、粘性などの、手足と関連筋肉の機械的特性は、拍動またはインパルスの入力によって減衰振動が生成されるようなものである。振動の周波数Ｆは、



に等しい。ここで、Ｋは手足の剛性、Ｉは手足の慣性を表す。振動のインパルス入力は、（循環系を通る心臓から押し出される血液と関連した）心弾道（cardio-ballistic）入力からと、不規則な神経運動単位（nervous motor unit）の発火（firings）を通してもたらされる。]
[0025] 一般的な振動周波数は、指が２５Ｈｚ、手首／手が６〜８Ｈｚ、肘が３〜４Ｈｚ、肩関節が０．５〜２Ｈｚである。別々の個人は、異なる振動周波数を持っているかもしれないが、各個人の振動周波数およびパターンは、一般に一貫性がある。]
[0026] 振動の別の原因は、中心（神経系）振動である。本来、人間の神経系は振動性を有している。神経系におけるこのような振動は、腕における関連振動を引き起こすことが仮定されている。これらの振動周波数は、手足の機構と無関係である。]
[0027] 普通の人にとって、これらは、上述の機械的反射振動よりも非常に小さい。しかし、パーキンソン病のような病気状態にある人にとっては、このような振動は、機械的反射振動に対して支配的である。]
[0028] 加速度計は、バイオメディカル分野において、人間の手の振動を解析するのに利用されてきた。一般的に、加速度計の生成された時系列データは、振動のパワー・スペクトル密度を得るためのスペクトル評価技術の対象となる。生理的な（普通の）ものか病的なものか、振動の性質が、そのスペクトルデータを解析することによって確認される。]
[0029] ホワイトノイズによって駆動される自己回帰（ＡＲ）モデルは、生理的対象物の振動時系列の良い記述子（descriptor）である。ＡＲモデルは減衰振動を表すのであるから、このことは、驚くことではない。ＡＲモデルにおいて、現在の出力は、現在の入力と過去の入力との線形結合としてモデル化される。



（式１）]
[0030] ここで、ｘは（ホワイトノイズ）入力、ｙは出力、ａKはＡＲ係数、ｐはＡＲモデルの次数（order）である。]
[0031] 次数２プロセス、すなわちｐ＝２は、デジタル共振子を表し、振動データの良い表現である。このモデルは、ＡＲ係数によって決定されるピーク共振周波数を持つ減衰正弦波の出力を有する、インパルス入力に応答する伝達関数を表す。]
[0032] 例えば、ＡＲモデルのインパルス応答および周波数応答ｙ（ｎ）＝０．０８４４ｘ（ｎ）＋０．９５ｙ（ｎ−１）−０．０９２５ｙ（ｎ−２）が、図３Ａおよび図３Ｂにそれぞれ示されている。減衰正弦波応答およびピーク共振周波数が、グラフに示されている。したがって、運動は、運動データから派生した正弦波に基づいてモデル化することができる。] 図３Ａ 図３Ｂ
[0033] （画像のぼやけ）
画像のぼやけは、２のタイプに分類することができる。それは、カメラ運動によるぼやけと対象物運動によるぼやけである。本システムは、カメラ運動ぼやけを最小化しようとするものである。カメラに関する運動ぼやけを推定することは、複雑な問題であるが、この問題に取り組むのにバイオメカニクスの知識を活用することができる。上述のように、カメラ運動ぼやけの１つの原因は、体の振動である。一実施形態における本発明は、体の振動の影響を取り除こうとするものである。これは、関節および手足系の振動／共振周波数における単調和振動（simple harmonic motion）の近似により、関節および関連手足に起因する振動運動をモデル化することにより行われる。]
[0034] 一実施形態において、手の主要な振動周波数は、加速度計の信号のスペクトル解析によって決定される。続いて、振動の位相（phase）は、位相推定技術を通じて決定される。一実施形態において、その振動は、単調和振動（Simple Harmonic Motion）としてモデル化される。このような運動にとって、速度は、加速度のピークおよび谷間で最小であり、加速度のゼロ地点で最大である。この情報は、予測された加速度信号のピークおよび谷間として、最適な画像取り込み時間を予測するのに利用される。]
[0035] 一実施形態において、本システムは、振動に起因するぼやけを取り除くのに、予測的な運動／ぼやけ推定の３つのアプローチのうちの１つを使用してもよい。３つのアプローチは、パワースペクトル・アプローチ、直交（quadrature）アプローチ、ハイブリッド（hybrid）アプローチである。すべてのアプローチは、振動データの正弦振動周波数を探そうとするものである。これらのアプローチは、ユーザが自分の手の位置を調整して画像を組み立てるとき、手のバイオメカニクスにおける変化に適応することができるという利点を有する。]
[0036] 正弦波信号は、その増幅率、周波数、位相の特性を有する。図４Ａは、そのような正弦波信号を示す。位相は−πと＋πとの間にあるが、限界のない継続的なアンラップされた（unwapped）位相を与えるために、アンラップされる。ノーマル（アンラップされた）位相は、ラップされた（wapped）位相モジュロ（modulo）２πをインターバル（−π，π）に変換することにより決定される。] 図４Ａ
[0037] 図５は、処理の一実施形態のフローチャートである。カメラシステムは、運動解析サブシステムと相互に作用する。] 図５
[0038] 一実施形態において、ブロック５１０で、カメラシステムは、ユーザが風景（scene）を組み立てるプレビューモードに入る。これは、ブロック５２０の予測的な処理を起動する。予測的な処理は、共振周波数、増幅率、位相を決定する加速度データの解析を含む。一実施形態において、絞りが開いてカメラが静止した状態にカメラが置かれたとき、プレビューモードに入る。]
[0039] ユーザがプレビューモードに入ったとき、カメラシステムは、運動解析システムに知らせる。このシステムは、ブロック５２０の加速度計信号解析を起動する。この解析は、共振周波数を含む加速度信号のパラメータを決定する。]
[0040] ブロック５３０で、ユーザがボタンを押したとき、ハンドカメラシステムにインパルスが入力される。これは、一般に、周波数ではなく、正弦波振動の位相を変化させる。したがって、これは、プレビューモードにおいて、また、ボタンが押された後のポストプレス段階において、共振周波数を決定するのに十分である。心臓の心収縮期間の血液放出の力に関連する心弾道が、振動へのインパルス入力を発生することが、調査により確認された。このようなインパルス入力は、振動の位相を変化させるかもしれない。心臓センサ入力が利用可能である場合、プロセスは、心弾道インパルスを探し、この入力の後、短時間デルタ（delta）だけ待ち、加速度の波形を再度予測する。]
[0041] ブロック５３０で、ユーザがシャッターボタンを押したとき、カメラシステムは、そのイベントを運動解析システムへ示す。ブロック５４０で、運動解析システムは短時間待つ。短いディレイは、ボタン押圧に伴う激しい揺れが収まるのを待つためのものである。]
[0042] そして、ブロック５５０で、プロセスは、加速度波形を予測する。ロック５６０で、運動パターンを予測するのに加速度波形が使用される。]
[0043] ブロック５７０で、予測された加速度波形から最小運動ポイントが識別される。これらのポイントは、カメラシステムへ伝達される。一方、カメラシステムは、フリービデオモードを実行中であり、各フレームに先行するフレーム同期信号を知っている。ブロック５８０で、カメラシステムは、予測された最小運動ポイントに最も近いフレーム同期を選択し、ブロック５９０で、フレーム同期に続いてフレームを取り込む。別の実施形態において、フレーム同期が発生する時間に関係なく画像を取得できる「強制再始動（force restart）」の機能を有する画像センサにとって、そのタイミングは、フレームを取り込むため、単に、予測された最小運動ポイントに依存するであろう。]
[0044] 図６Ａは、スペクトル解析に基づく画像ぼやけ予測へのアプローチの一実施形態を示している。加速度計から受信した運動データが処理される。一実施形態において、肘および手首の振動範囲３〜１６Ｈｚの周波数を通過させるバンドパスフィルタ６１５を通って、加速度データが最初に送られる。フィルタ６１５は、加速度信号の重力成分を効果的に取り除く。一実施形態において、同様のスペクトル解析システムが各振動範囲のためにセットアップされる。さらに、バンドパスフィルタ６１５は、自動車の移動またはトラックに沿ったカメラの移動の運動のような普通の滑らかな運動をフィルターで除去するのに使用され得る。滑らかな運動は、ｘ方向に一定の速度または一定の加速度を生成する。この速度／加速度は、バンドパスフィルタ６１５によって除去される。その一方、バンプは、速度または加速度の高周波数変化として現れる。一実施形態において、バンドパスフィルタ６１５を並列に、ハイパスフィルタ（図示せず）が本システムに追加されてもよい。ハイパスフィルタの出力が、所定の閾値を超えた場合（高周波数変化を指す）、本システムは、カメラにトリガをかける前に、高周波数イベント（バンプまたはジャーク（jerk））に起因する運動が収まるまでＮミリ秒遅れるかもしれない。これは、画像品質の利益を提供しつつも、電車や自動車、またはカメラトラックなどの移動車両におけるシステムの使用を可能にする。] 図６Ａ
[0045] さらに、バンドパスフィルタ６１５は、検討対象（consideration）から高周波数ノイズを除去する。]
[0046] ブロック６１５で。スペクトル推定技術は、加速度データの共振周波数を決定するのに使用される。一実施形態において、周波数予測器としてピリオドグラム（periodogram）手法が利用される。このアプローチにおいて、ピリオドグラムのピークは、興味（interest）の周波数に対応する。]
[0047] 一実施形態において、自己回帰（ＡＲ）手法、修正された共分散手法等のようなスペクトル推定手法に基づくモデルが、スペクトル予測によって、測定データにモデルを合わせて、興味の周波数を得るのに使用される。一般性を喪失することなく、他のスペクトル予測手法が、共振周波数を推定するのに使用され得る。このようなスペクトル推定手法は、例えば、正弦周波数推定技術（ＭＵＳＩＣ等）を含む。]
[0048] 一実施形態において、周波数が、ナローバンドフィルタ６２０を通過する。ナローバンドフィルタ６２０は、特定周波数を分離するのに使用される。一実施形態において、データが、種々の特定周波数のナローバンドフィルタ６２０のバンクを通過する。簡単化のため、１つの特定周波数のための１つの経路のみが示されている。しかし、当業者は、各周波数に関連するフィルタ６２０、位相検出器６２５、振幅検出器６３０が存在するかもしれないということを理解するであろう。]
[0049] 位相検出器６２５は、信号のゼロクロスまたはピークを検出する。一実施形態において、それぞれの周波数用の個別の位相検出器６２５が存在する。または、１つの位相検出器６２５が複数の周波数を取り扱うかもしれない。]
[0050] 振幅検出器６３０は、信号の振幅を計算する。一実施形態において、信号の振幅が信号のピークから計算される。または、振幅は、信号の二乗平均平方根（ＲＭＳ）エネルギから導き出される。ＲＭＳは、いくらかの期間にわたる平均サンプルによって決定される。



（式２）]
[0051] 正弦ＲＭＳは、



である。ここで、Ａは、信号の振幅である。したがって、振幅Ａは、



となる。]
[0052] 振幅と位相データは、周波数データとともに、予測波形生成器６３５へ通過する。信号の所定の推定振幅、位相、周波数；信号の将来値が予測される。一実施形態において、上記（式１）に関して説明された技術が使用される。]
[0053] 予測運動データが、運動予測器６４０へ通過する。一実施形態において、１つの興味の周波数のみが存在する場合、予測信号のピークおよび谷間である最小ぼやけのポイントが推定される、単調和振動アプローチが使用される。]
[0054] 一実施形態において、複数の周波数が含まれているとき、加速度データが積分されて、速度データが求められる。一実施形態において、平均速度がゼロになるように、初期速度が選択される。これは、一般に写真を撮る場合、画像を取り込むとき、対象が写真を組み立てることを継続し、中身の排除が予期されないという理由による。]
[0055] 振幅および位相を決定する代替案の一実施形態が、図６Ｂに示されている。この代替案において、運動データが、バンドパスフィルタ６５０を通ってスペクトル予測６５５へ、そしてフーリエ変換６６０へと通過する。要求共振周波数の隣の信号のフーリエ変換６６０が決定される。補間ロジック６６５によって、要求共振周波数における信号の振幅および位相が、隣接周波数のフーリエ応答からの補間によって求められる。スペクトル推定データとともに、このデータが予測波形生成器６７０へ送られる。そして、波形データが、運動検出６７５へ送られる。] 図６Ｂ
[0056] 図７は、直交信号分析に基づく画像ぼやけ予測へのアプローチの一実施形態を示す。このアプローチは、手の振動が、１つの正弦振動の結果としてモデル化できるときに適している。] 図７
[0057] データが、バンドパスフィルタ７１０を通過する。バンドパスフィルタは、分析される特定信号または運動とは無関係なデータを除去する。上述のように、一実施形態において、周波数の関連スライスのそれぞれに、複数のフィルタが使用される。]
[0058] フィルタを通ったデータが、ヒルベルトフィルタ７２０へ送られる。ヒルベルトフィルタは、信号の「直交」バージョン（原信号を９０度位相シフトしたもの）を生成する。]
[0059] バンドパスフィルタ７１０およびヒルベルトフィルタ７２０からのデータは、一緒に、アークタンジェント・ブロック７２５へ送られる。ヒルベルトフィルタ７２０は、遅延を持っているので、遅延７１５は、元のデータとヒルベルトフィルタ７２０からのデータがアークタンジェント・ブロック７２５へ同時に到着することを確実にする。原信号と直交信号を同期させる他の方法を使用してもよい。アークタンジェント・ブロック７２５は、原信号および直交信号のアークタンジェントから、信号の瞬時位相を導き出す。]
[0060] 信号の位相が、期間（−π，π）の間に存在する。位相の連続的表示が得られるように、（式１）に示すように、この位相は、位相アンラップ７３０によってアンラップされ得る。周波数を決定するのに位相が差分でなければならないので、この連続的表示が計算される。]
[0061] 位相スムージングフィルタ７３５は、データをなめらかにする。一実施形態において、スムージングは、最小二乗によって、局所的に線に合わせることにより、利用される。]
[0062] 以下に示すように、周波数は、位相の導関数のスケールバージョンである。



（式３）]
[0063] 微分器ブロック７４０は、その入力を微分してスケールして、信号の瞬時周波数の推定値を得る。また、瞬時周波数は、アンラップされた位相から推定できることに注目すべきである。瞬時周波数は、ナローバンドフィルタ７５５へ送られる。また、ナローバンドフィルタ７５５は、バンドパスフィルタ７１０の出力を受信する。ナローバンドフィルタ７５５は、微分器ブロック７４０からの瞬時周波数データに基づいて、バンドパスフィルタ７１０からの信号をフィルタリングする。]
[0064] 振幅検出器７６０は、ナローバンドフィルタ７５５からの出力を使用し、周波数の振幅を特定する。このデータは、微分器７４０、位相スムージングフィルタ７３５の出力とともに、予測波形生成器７５０への入力である。]
[0065] 予測波形生成器７５０は、信号の将来値を計算する。一実施形態において、運動の単一周波数のみが存在する場合、予測波形生成器７５０は省略可能であり、波形情報が、運動予測器７６０へ直接送られる。単一周波数のため、信号が、分析的に合成される。例えば、そのピークとゼロがそのフォーマットによって定義されるので、正弦波形が予測される必要はない。]
[0066] 波形予測データが運動予測器７６０へ送られ、画像取得に適した時間求めるために将来運度を予測する。]
[0067] 混合アプローチにおいて、スペクトル推定を使用して、カメラプレビューモードの共振周波数を推定し、ヒルベルト変換アプローチを使用して、取り込みモード（ボタンを押した後）の瞬時位相を計算する。直列にまたは並列に使用することを含んで、スペクトル推定およびヒルベルト変換を使用する他の方法も使用可能である。]
[0068] 予測アプローチは、ボタンを押した後に画像を取り込むことを必要としない点が強調されるべきである。文脈上の運動分析は、エンドユーザがまさに写真を撮ろうとしていることを確認するのに使用することができるのであるから、写真の取り込みは、ボタンを押す前であってもよい。このアプローチの利点は、ボタン押圧の力インパルスが手の振動に摂動を生成する前に、写真が取り込まれるということである。]
[0069] 図８は、予測画像取得の一実施形態のフローチャートである。ブロック８１０で、エンドユーザがカメラプレビューモードに入ったことを、カメラ・サブシステムが運動分析システムへ伝達する。プレビューモード開始に応答して、ブロック８１５で、加速度信号分析が始まる。] 図８
[0070] ブロック８２０で、運動サブシステムが加速度データを監視し、シーンの「静止した」フレーミング（framing）を確認する。これは、加速度信号のＲＭＳ値とデバイスの傾きを監視することによって行うことができる。ＲＭＳ値が閾値よりも低い場合、または推定傾きが写真撮影の期待傾きに近い場合、画像取り込みが始まる。加速度計の傾きの推定技術は、当該技術においてよく知られている。注意すべき点は、「静止した」フレーミングが、スムーズ運動（すなわち、動くカメラ）を含んでもよいことである。バンプおよびジャンプの結果と振動とを除去するように設計される。一実施形態において、運動（無視できるスムーズ運動を除いて）は、反対運動と呼ばれる。]
[0071] ブロック８２５で、加速度波形が予測される。ブロック８３０で、推定された加速度に基づいて、運動が予測される。]
[0072] ブロック８３５で、最小反対運動のポイントが特定され、カメラは、写真を撮るように指示される。上述のように、最小反対運動のポイントは、依然として、スムーズ安定運動を含む。ブロック８４０で、カメラシステムは、フレーム同期を最小運動ポイントに重ね合わせて、取り込み時間を設定する。ブロック８５０で、画像が取り込まれる。もし可能であるならば、近接センサを使用して、ユーザの指が、タイミングのきっかけとなるシャッターボタンに近づいているかを確認する。写真の取り込みは、ユーザに気づかれずに開始する。]
[0073] 一実施形態において、ユーザが写真を枠に入れたが、実際にはシャッターを押し下げなかった場合、取得した画像は捨てられ、プロセスはブロック８２５へ戻り、再度の予測および再度の画像取得を行う。一実施形態において、シャッターリリースの実際の時間に近い時に撮られた写真のみが保存される。別の実施形態において、先行する写真も同様に保存してもよい。一実施形態において、予測的な画像取得の利用可能性について、または、シャッター起動の瞬間範囲外に取得されたような画像のうち、どの画像が保存されるかについて、ユーザが好みを設定してもよい。]
[0074] 上述した、これらの予想システムは、改善された画像取得を可能にする。上述のように、一実施形態において、システムは、周波数推定および位相推定を使用し、正弦振動を分離し、将来の信号波形を予測する。一実施形態において、システムは、画像安定化のために、波形予測のために、瞬時位相および瞬時周波数を決定するために直交信号技術を使用する。そして、システムは、カメラが「低運度」ポイントで画像を取り込むようにする。一実施形態において、加速度のピークおよび谷間の間に画像を取り込むのに、単調和信号原理が、使用される。さらに、「シーン・フレーミング（Scene Framing）」を検知することにより、一実施形態において、加速度データ処理および／または近接センサデータを使用して、ボタンを押す前に写真を取り込むのに、システムを使用することができる。]
[0075] 一実施形態において、運動データは、画像取り込み後の画像修正の後処理にも使用される。一実施形態において、後処理は、画像に関連する取り込まれた運動データを利用する。一実施形態において、画像は、それに関連する加速度データをメタデータとして有する。一実施形態において、全画像の１回読み取りの代わりに、加速度計の読み取りは、画像の各ラインで、またはライン・グループで、利用可能である。]
[0076] プロセスは、写真が撮られた時のカメラの線形速度を求めることを試みる。一実施形態において、画像センサ平面内の線形並進加速度が推定され、積分され、線形速度が求められる。この速度は、画像ぼやけを推定するのに使用される。]
[0077] 画像センサおよび３軸加速度計を含むデバイスが、携帯電話のような無線デバイスである場合、そのデバイスの大きさから手の上の最小限加重を予期する。続いて、写真の主なぼやけは、肘の自然な振動周波数から発するであろう。肘から手までの距離は重要であるから、この振動は、回転運動ではなく、手の線形並進運動として捉えられる。したがって、線形並進運動の補償は、画像品質を改善するであろう。]
[0078] 小さなカメラデバイスは、一般に、広角カメラシステム（望遠システムとは反対に）を有し、大体は、対象物がカメラに比較的近いポートレイトモードで使用される。したがって、画像センサの変換は、回転よりも目立つぼやけを導く（センサから遠い物体に、不釣合いに影響を与える）。]
[0079] 導出された運動情報は、運動方向と運動量の推定を含む。この情報は、画像ぼやけを除去する後処理の間、使用することができる。]
[0080] 運動ぼやけの影響を最小化するための画像の後処理について、非常に多くの研究がなされている。画素レベルのよごれは「点広がり関数（ＰＳＦ）」として、特徴づけられる。ぼやけを除く技術は、ＰＳＦが未知として仮定される点で「ブラインド（blind）」である。]
[0081] しかし、運動ＰＳＦを知ることは、再構成の品質を顕著に向上させる。このことは、図９に示されている。この図において、ぼやけバージョンとともに、元の画像が示されている。正しいＰＳＦが既知である場合、左下に示すように、画像は再構成可能である。しかし、均一な放射状ぼやけと仮定した場合、右下に示すような写真となる。この一例として、伝統的なウィナ・デコンボリューション・フィルタ（Weiner deconvolution filter）が使用された。] 図９
[0082] 一実施形態において、本システムにおいて、運動ベクトルは画像と関係がある。したがって、関連運動ベクトルおよび運動ＰＳＦとともに後処理アルゴリズムが提供される。このことは、より正確な画像修復を可能にする。一実施形態において、画像修復がさらに改善されるように、全画像の代わりに、画像の一部のためにＰＳＦが推定される（一実施形態において、画像ライン単位で）。]
[0083] 図１０は、画像平面内の運動ベクトルを推定するアプローチの一実施形態を示す。運動データは、重力ベクトル予測器１０１０への入力である。重力ベクトル予測器１０１０は、ローパスフィルタ、または重力ベクトルの推定精度を改善する加速度パワー密度スペクトルの知識を利用する手段のような複雑な手段である。] 図１０
[0084] ブロック１０２０で、推定された重力ベクトルＧ’（座標系が付加されたカメラ内）が、加速度ベクトルから減算され、真のカメラ残留加速度Ａ’が求められる。一実施形態において、安定運動、すなわち移動車両またはカメラの運動、もまた確認され、バンドパスフィルタを使用して除去される。]
[0085] 残留加速度ベクトルＡ’が、積分器１０３０によって積分され、速度ベクトルを得る。速度の初期状態が確立される必要がある。これは、２つのうちどちらかの方法で行ってもよい。一実施形態において、画像の小領域（センサから得られた）は、ゼロ運動の検査が行われる（例えば、その領域の全画素にわたって、閾値より下の色の強度の変化を検知することにより）。識別器１０４０によるゼロ速度ポイントは、積分器１０３０にきっかけを与え、ゼロ速度初期状態で積分を始める。]
[0086] 代わりに、平均速度がゼロであると仮定することができる（ユーザが画像を取り込んでいる時にゼロ変位となるから）。よって、信号平均１０５０を介して得られた平均値を減算することにより、速度ベクトルＶｒを修正することができる。]
[0087] 結果として生じるセンサ速度ベクトル推定値Ｖｓ’は、画像平面速度Ｖｏ’にマッピングされなければならない。物体運動ベクトル予測器１０７０がこれを計算する。画像センサによって取得された画像は、焦点距離、センサからの物体距離などの画像パラメータに基づいて画像平面内で置換されるので、センサと物体速度は異なる。一列に並べられたセンサは、この距離を検出可能であり、または、典型的な距離（例えば、ポートレイト写真は６フィート）を推定可能である。プロジェクタ１０８０によって、結果としての３Ｄ速度ベクトルは、画像平面に投射され、２Ｄ速度ベクトルＶｇ’を与える。このベクトルは、運動振動の大きさおよび方向を推定する。]
[0088] 画像平面内の残留加速度は、加速度ベクトルを推定する。加速度が積分されて速度が得られる。平均速度がゼロになるように、初期速度が設定される。このグローバル運動ベクトルは、画像単位、ライン単位、またはラインレベルの設定単位の振動を調整するのに使用することができる。上記技術のいずれかによる運動データを分析する処理は、また、運動データが、ジャイロスコープによって生成された角速度データの場合も使用することができる。この場合、角速度が直接使用され、または微分され、角速度が得られる。一実施形態において、速度データが直接得られる場合は、速度を得るための上述のプロセスの一部は、省略可能である。しかし、当業者は、加速度データと角速度データの間の変換を理解している。上述の正弦波周波数の特定技術は、同様に、このようなデータに応用することができる。]
[0089] これまで述べてきた運動推定の原理は、ビデオまで拡張することができる。ビデオは、フレームの列として取り込まれる。ここでいう「フレーム」という用語は、完全なフレーム、インターレースされたフレーム・サブセットであるフィールド、符号化され個別に処理された完全なフレームのサブセットであるマクロブロック、またはスライスを示す。]
[0090] 一般的に、フレームは、お互いを参照して一般的に完全に符号化される写真グループ（ＧＯＰ）に分割される（すなわち、符号化中、ＧＯＰの外の写真に依存性がない）。図１１Ａおよび図１１Ｂは、フレームおよびフレーム間の関係を示す図である。ＧＯＰ１１１０内のフレーム／写真は、次のように分類される。] 図１１Ａ 図１１Ｂ
[0091] Ｉ：内部コード写真１１２０。これらの写真はまた、「アンカー（Anchor）」フレームとも呼ばれ、自分自身に関連して符号化される。これらは、ＧＯＰの最初および最後のフレームである。]
[0092] Ｐ：予測フレーム１１３０。これらのフレームは、参照フレーム（通常はＧＯＰ内のＩフレーム、ときどき他のＰフレーム）に関連して符号化される。最初に、Ｐフレームおよびその参照フレームの１６×１６画素ブロックの間の関連運動が、運動ベクトルとして局所的に推定される。そして、Ｐフレームブロックとその関連参照領域ブロックとの差が符号化される。]
[0093] Ｂ：双方向フレーム１１４０。これらのフレームは、両側の隣接するＩおよび／またはＰフレームに関連して符号化される。]
[0094] Ｉフレーム１１２０は、キーアンカー・フレームである。したがって、ＰおよびＢフレームは、Ｉフレームに関連して予測されるから、Ｉフレームは、高品質である必要がある。]
[0095] 図１２は、ビデオの画像品質を改善する一 実施形態の図である。これは、保存および／または再生のためにビデオが符号化される際、実施される一実施形態における後処理である。プロセスは、ブロック１２１０から始まる。] 図１２
[0096] ブロック１２２０で、第１のＩフレームが選択される。この第１のＩフレームは、最小グローバル運動を持つ第１のフレームである。上述のプロセスのいずれか１つが、このようなフレームを特定するのに使用されてもよい。]
[0097] ブロック１２３０で、第２のＩフレームが選択される。一実施形態において、第２のＩフレームは、要求に応じる。第１に、それは、ＧＯＰを構成するための第１のＩフレームから受け入れ可能なフレームセットの範囲内である。第２に、それは、最小運動のポイントを表す。「最小運動」という用語は、ここでは、他の利用可能なフレームのグローバル運動ベクトルよりも小さいグローバル運動ベクトルを示す。これらの２つのＩフレームの間の領域は、ＧＯＰを確定する。]
[0098] ブロック１２４０で、プロセスは、ＧＰＯ内のフレームの符号化を始める。]
[0099] ブロック１２５０で、プロセスは、予測された運動に基づいて、ＧＯＰ内のＰフレームまたはＢフレームのいずれかが大きく振動しているかを確認する。もし、そうでないならば、プロセスは、符号化を完了し、ブロック１２８０へ続く。]
[0100] もし、そうならば、ブロック１２６０で、大きく振動しているフレームが除去される。ブロック１２６０で、隣接フレームに基づいて差し替えフレームが補間される。いくつかの知られたフレーム補間技術のうちいずれかを使用することができる。代わりに、ライン単位の運動推定が利用可能であり、ビデオラインが取り込まれた時間に顕著な運動が存在することが確認されたとき、特定のラインが補間される。]
[0101] そして、プロセスはブロック１２３０へ戻り、新しいＩフレームを抽出し、他のＧＯＰを確定する。すべてのフレームが符号化／圧縮されるまで、このプロセスが繰り返される。]
[0102] 前述の明細書において、特定の実施形態を参照して発明が説明された。しかし、特許請求の範囲に記載された発明の広範な精神および範囲から逸脱することなく、種々の修正や変更がそれに対してなされることが明らかであろう。したがって、明細書および図面は、限定的意味ではなく例示的なものとして理解されるべきである。]
[0103] １１０：カメラ
１２０：加速度計
１３０：メモリ
１３５：リモートメモリ
１５０：リモートプロセッサ
１６０：ネットワーク
２１０：画像改善システム
２１５：プレビューモード識別ロジック
２２０：正弦波信号解析ロジック
２２２：付加センサ信号解析
２２５：シャッターロジック
２３０：遅延ロジック
２４０：最小運動識別ロジック
２４５：バイオメカニクスデータ
２５０：オーバーレイロジック
２５５：画像取り込みロジック
２５７：運動履歴
２６０：画像保存ロジック
２７０：グローバル運動ベクトル計算機
２７５：運動ＰＳＦ計算機
２８０：画像再生ロジック
２８５：画像保存ロジック
２９０：前処理システム
２９５：後処理システム
６１５：バンドパスフィルタ（Bandpass Filter）
６１５：スペクトル予測（Spectral Estimation）
６２０：Ｆ１，Ｆ２，・・・のナローバンドフィルタ
６２５：位相検出器（ゼロクロス又はピーク）
６３０：振幅検出器（ピーク）
６３５：予測波形生成器
６４０：運動予測器
６５０：ベースバンドフィルタ
６５５：スペクトル予測
６６０：フーリエ変換
６６５：振幅及び位相補間
６７０：予測波形生成器
６７５：運動予測器
７１０：バンドパスフィルタ
７１５：遅延
７２０：ヒルベルト（直交）フィルタ
７２５：アークタンジェント
７３０：位相アンラップ
７３５：位相スムージングフィルタ
７４０：微分器（スケーラ）
７５０：予測波形生成器
７５５：ナローバンドフィルタ
７６０：振幅検出器（Amplitude Detector）
７６０：運動予測器（Motion Predictor）
１０１０：重力ベクトルの予測
１０３０：積分器
１０４０：画像領域ゼロ運動識別器
１０５０：信号平均
１０７０：物体運動ベクトルの予測
１０８０：センサ平面への投影]

权利要求:

請求項1
画像取り込みデバイスの運動データを受信するステップと、バイオメカニカルデータおよび前記受信した運動データに基づいて、前記画像取り込みデバイスの運動を表す正弦波を確認するステップと、前記正弦波に基づいて、改善された画像を生成するステップと、を有することを特徴とする方法。
請求項2
前記正弦波は、加速度ベクトルから導き出されることを特徴とする請求項１に記載の方法。
請求項3
前記正弦波は、速度ベクトル、角速度ベクトル、加速度ベクトルのうち１つ以上から導き出されることを特徴とする請求項１に記載の方法。
請求項4
前記改善された画像を生成するステップは、前記バイオメカニカルデータおよび前記受信した運動データに基づいて、最小反対運動のポイントを選択して前記画像を得ることを含むことを特徴とする請求項１に記載の方法。
請求項5
加速度ベクトルに基づいて加速度波形を予測するステップと、前記加速度波形および前記バイオメカニカルデータに基づいて運動を推定するステップと、前記運動推定に基づいて最小運動のポイントを特定するステップと、をさらに有することを特徴とする請求項４に記載の方法。
請求項6
前記最小運動のポイントにフレーム同期信号を重ね合わせるステップと、前記最小運動のポイントに近いフレーム同期ポイントで、画像取り込みメカニズムを起動するステップと、をさらに有することを特徴とする請求項５に記載の方法。
請求項7
スペクトル推定を利用して前記加速度波形を予測するステップ、をさらに有することを特徴とする請求項５に記載の方法。
請求項8
バンドパスフィルタおよびナローバンドフィルタを利用して周波数を分離するステップと、前記周波数の位相および振幅を検出するステップであって、前記周波数の位相および振幅が前記加速度波形の予測に利用されるようなステップと、をさらに有することを特徴とする請求項７に記載の方法。
請求項9
直交フィルタを利用して位相シフト信号を計算するステップと、前記位相シフト信号および原信号に基づいて位相を計算するステップと、振幅および前記位相に基づいて前記波形を予測するステップと、をさらに有することを特徴とする請求項５に記載の方法。
請求項10
前記改善された画像を生成するステップは、前記バイオメカニカルデータおよび前記受信した運動データに基づいて、後処理において画像から振動を除去することを含むことを特徴とする請求項１に記載の方法。
請求項11
前記運動データに基づいてグローバル運動ベクトルを計算するステップと、前記グローバル運動ベクトルに基づいて、取り込んだ画像を調整するステップと、をさらに有することを特徴とする請求項１０に記載の方法。
請求項12
前記グローバル運動ベクトルは、前記取り込んだ画像のサブ部分について一定であり、前記調整するステップは、前記サブ部分のためであることを特徴とする請求項１１に記載の方法。
請求項13
ビデオにおいて、最小グローバル運動を有するフレームを特定するステップと、符号化目的のＩフレームとして前記フレームを指定するステップと、をさらに有することを特徴とする請求項１に記載の方法。
請求項14
前記加速度ベクトルおよび前記バイオメカニカル情報から計算された投影運動に基づいて、振動フレームを特定するステップと、前記振動フレームを除去するステップと、隣接するフレームから補間されたフレームで前記振動フレームを置き換えるステップと、をさらに有することを特徴とする請求項１３に記載の方法。
請求項15
心臓センサからデータを受信するステップと、前記心臓センサからの前記データを利用して、前記正弦波を予測するステップと、をさらに有することを特徴とする請求項１に記載の方法。
請求項16
近接センサの入力により、実際のシャッター押圧の前に、予測および取り込みの処理を開始するステップ、をさらに有することを特徴とする請求項１に記載の方法。
請求項17
画像取り込みデバイスのための画像を改善するシステムであって、前記画像取り込みデバイスの運動データを受信する受信論理回路と、バイオメカニカルデータおよび前記受信した運動データに基づいて、前記画像取り込みデバイスの前記運動を表現する正弦波を計算する正弦波信号分析論理回路と、前記正弦波に基づいて、改善された画像を生成する画像改善システムと、を有することを特徴とするシステム。
請求項18
前記正弦波は、速度ベクトル、角速度ベクトル、加速度ベクトルのうち１つ以上から導き出されることを特徴とする請求項１７に記載のシステム。
請求項19
前記バイオメカニカルデータおよび前記受信した運動データに基づいて、最小反対運動のポイントを選択して前記画像を得る前処理システムをさらに有することを特徴とする請求項１７に記載のシステム。
請求項20
前記正弦波に基づいて運動を推定し、最小運動のポイントを特定する最小運動特定論理回路と、前記最小運動のポイントにフレーム同期信号を重ね合わせるオーバーレイ論理回路と、前記最小運動のポイントに近いフレーム同期ポイントで、画像取り込みメカニズムを起動するシャッター論理回路と、をさらに有することを特徴とする請求項１９に記載のシステム。
請求項21
実際のシャッター押圧の前に、予測および取り込みの処理を開始する近接センサ入力をさらに有することを特徴とする請求項２０に記載のシステム。
請求項22
周波数を分離するバンドパスフィルタと、前記加速度波形を予測するスペクトル推定器と、前記周波数の位相および振幅を特定する位相検出器および振幅検出器と、をさらに有し、前記位相および振幅は、前記加速度波形の予測に利用されることを特徴とする請求項１９に記載のシステム。
請求項23
位相シフト信号を計算する直交フィルタと、前記位相シフト信号および原信号に基づいて位相を計算するアークタンジェント計算器と、振幅および前記位相に基づいて前記波形を予測する予測波形生成器と、をさらに有することを特徴とする請求項１９に記載のシステム。
請求項24
前記バイオメカニカルデータおよび前記受信した運動データに基づいて、画像から振動を除去することにより、前記改善された画像を生成する後処理システムをさらに有することを特徴とする請求項１７に記載のシステム。
請求項25
前記運動データに基づいてグローバル運動ベクトルを計算するグローバル運動ベクトル計算器と、前記グローバル運動ベクトルに基づいて、取り込んだ画像を調整する画像修復論理回路と、をさらに有することを特徴とする請求項２４に記載のシステム。
請求項26
前記グローバル運動ベクトルは、前記取り込んだ画像のサブ部分について一定であり、前記調整は、前記取り込んだ画像の前記サブ部分のためであることを特徴とする請求項２５に記載のシステム。
請求項27
ビデオにおいて、最小グローバル運動を有するフレームを特定する前記グローバル運動ベクトル計算器と、符号化目的のＩフレームとして前記フレームを指定する前記画像修復論理回路と、をさらに有することを特徴とする請求項２５に記載のシステム。
請求項28
振動フレームを特定し、前記振動フレームを除去し、隣接するフレームから補間されたフレームで前記振動フレームを置き換える前記画像修復論理回路をさらに有することを特徴とする請求項２５に記載のシステム。
請求項29
心臓センサと、前記心臓センサからのデータを利用して、前記正弦波を予測する最小運動特定論理回路と、をさらに有することを特徴とする請求項１７に記載のシステム。